Hartmann chào đời ngày 4 tháng 2 năm 1795, tại Maikammer, Rheinland-Pfalz, là con trai của Georg Hartmann và Barbara Geither. Cha ông đã mất từ trước khi ông sinh ra, Người cậu của ông là tướng Pháp Michael Geither. Hartmann đã nhập ngũ trong quân đội Pháp vào tháng 10 năm 1804, với tư cách là lính bộ binh thuộc Trung đoàn Bộ binh nhẹ số 15.

Vào năm 1806, tướng Geither đã được Hoàng đế Napoléon giao trọng trách tổ chức các lực lượng quân sự của Đại Công quốc Berg mới được thành lập (Hoàng đế Pháp đã giao cho người em rể của mình là Joachim Murat trị vì đại công quốc này). Geither ngay lập tức điền tên của cậu bé Hartmann, khi đó mới 11 tuổi, vào biên chế của Trung đoàn số 1 của Đại Công quốc Berg với tư cách là một người tình nguyện. Trong khoảng thời gian sau đó, mặc dù còn học tại các trường quân sự Bonn và Saint-Cyr của Pháp, ông lần lượt được thăng cấp Hạ sĩ, Trung sĩ và Thượng sĩ.[1] Vào năm 1811, sau khi tốt nghiệp trường Saint-Cyr, Harmtann đã gia nhập trong Trung đoàn số 1 với tình trạng phục vụ tích cực và quân hàm là Thiếu úy.

Mặc dù sự thăng tiến của Hartmann đã bộc lộ sức mạnh của sự bảo trợ và tính chất thiên vị trong hệ thống quân sự của Đế chế Pháp và các nước chư hầu, Hartmann đã thể hiện khả năng của mình trên chiến trường. Ông phục vụ trung kiên cho quân đội Pháp từ năm 1811 cho đến năm 1815, và sau khi đội quân chư hầu Napoléon của Liên bang sông Rhine tan rã, ông gia nhập Trung đoàn Bộ binh số 27 của Pháp. Vào năm 1814, ông đã tổ chức cuộc tập kích một đạo quân Cossack Nga tiến từ Montargis xuống Orléans, và giành thắng lợi vang dội. Vào năm 1815, ông đã chiến đấu tích cực tại Planchenoit trong trận Waterloo, và cứu vãn huy hiệu của trung đoàn khỏi tay quân Phổ.[1] Trong khoảng thời gian này, ông đã được trao tặng Huân chương Bắc Đẩu bội tinh của Pháp. Bất chấp nền giáo dục Pháp của mình, Hartmann là một người nồng nhiệt yêu mến vùng đất mà ông sinh ra và chỉ tiếp tục phục vụ Napoléon sau khi Liên minh sông Rhine sụp đổ vì ý niệm của mình về lòng trung thành quân sự. Sau khi đế chế sụp đổ, ông đã giã từ quân ngũ Pháp vào năm 1816.